Warum (noch) eine Vorlesung zur Statistik?

• Literacy: Wenn man aktuelle Forschung lesen möchte (oder muss), führt kein Weg an etwas komplexeren Analysen vorbei.
• Selbstwirksamkeit: Wer einmal eine Analyse durchgeführt hat, kann in Seminar- und Abschlussarbeiten besser Daten auswerten.
• Jobaussichten: Viele AbsolventInnen berichten rückblickend, dass gerade die Methodenskills am besten verwertbar waren bei der Jobsuche und im Beruf.

Ziele der Vorlesung

• Studierende werden dazu befähigt, die Anwendung ausgewählter Analyseverfahren nachzuvollziehen sowie entsprechende Forschungsergebnisse und Interpretationen zu verstehen.
• Studierende sind in der Lage, für ausgewählte Analyseverfahren anhand vorgegebener Daten Ergebnisse aus der Forschungsliteratur mittels Statistiksoftware zu reproduzieren.
• Studierende verfügen über die die Kompetenz, Angemessenheit und Güte von methodischen Vorgehensweisen zu beurteilen.
• (Studierende finden Statistik weniger schlimm und langweilig).

Was die Vorlesung (nicht) ist

• keine Wiederholung der VL Statistik oder der Datenanalyse-Übungen
• Fokus auf das Verständnis für und die Anwendung von statistischen Verfahren, weniger die Mathematik dahinter
• das Allgemeine Lineare Modell (GLM) als grundlegendes Verfahren
• kein reines Ablesen von p-Werten und Signifikanz-Sternchen
• emanzipierter Umgang mit statistischen Verfahren statt Rezepte abarbeiten

Vorlesungsplan

Ablauf der Sitzungen und Anwesenheit

Ablauf

1. Besprechung der praktischen Übungen/Hausaufgabe (max. 15 min)
2. Vorlesungsteil (max. 60 min)
3. Fragen und Antworten zur Vorlesung und praktischen Übung

Anwesenheit

• keine Anwesenheitspflicht, aber auch keine Nachhilfepflicht meinerseits
• eigenständige Nachbereitung der praktischen Übungen

E-Learning und Studienleistung

Material

• Folien und Übungsmaterialien samt Daten und R-Code auf
  https://stats.ifp.uni-mainz.de/ba-aa-vl

Studienleistung

• während der Vorlesungszeit 3 Teil-Studienleistungen (je ca. 15 min)
• sowohl Interpretations- als auch praktische Analyseaufgaben
• Deadline jeweils 2 Wochen nach Aufgabenstellung, Mi 12h
• Benotung jeweils Pass/Fail, 3x Pass nötig (ggf. Zusatzaufgabe)

Praktische Übungen

• zu jeder Sitzung eine praktische Übung auf Basis einer publizierten Studie
• kurze Besprechung in der Vorlesung, meist mit einer exemplarischen Analyse
• R-Code zum Replizieren der Analysen zuhause oder während der Vorlesung
• praktische Anwendung als integraler Teil der Vorlesung und der Studienleistung
• Copy & Paste/Anpassung von bestehendem Code ist ok!

Software

• in der VL vorgestellten Analysen lassen sich mit praktisch jeder Statistiksoftware reproduzieren
• jede Statistiksoftware ist nur ein Werkzeug
• Lektürekompetenz heißt auch, man kann sowohl SPSS als auch Stata oder R-Output lesen
• wegen Verfügbarkeit und Zukunftsfähigkeit verwende ich R

Für die Studienleistung ist irrelevant, welche Software Sie verwenden!

Warum muss ich jetzt auch noch R lernen?

• Sie müssen nicht!
• R ist freie Software und durch viele tausend Pakete (packages) erweiterbar, u.a. für
  • Datenerhebung: Web-Scraping, APIs (z.B. für TikTok oder Spotify), Textdaten
  • Auswertung: Statistik, Textanalyse, Audiodaten, Psychophysiologie, etc.
  • Datenpräsentation und -visualisierung: Grafiken, Berichte, Folien (z.B. diese)
• grundlegende Programmierkenntnisse, die auch ohne Statistik nützlich sein können
• das IfP hat auf R umgestellt, siehe Kurz-Websites https://stats.ifp.uni-mainz.de/

Kleines R-Beispiel: Breaking Bad Deaths

Was macht dieser Code?

library(tidyverse)
read_csv('https://wegweisr.haim.it/Daten/breaking_bad_deaths.csv') |>  
  count(method, sort = TRUE) |> 
  head(n = 5)

Kleines R-Beispiel: Breaking Bad Deaths

Was macht dieser Code?

library(tidyverse)
read_csv('https://wegweisr.haim.it/Daten/breaking_bad_deaths.csv') |>  
  count(method, sort = TRUE) |> 
  head(n = 5)

Literaturempfehlungen

Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R. London: Sage.

Miles, J., & Shevlin, M. (2001). Applying regression and correlation: A guide for students and researchers. London: Sage.

Darlington, R. B., & Hayes, A. F. (2016). Regression analysis and linear models: Concepts, applications, and implementation. Guilford Publications.

McElreath, R. (2020). Statistical rethinking: A Bayesian course with examples in R and Stan. CRC press. (für Interessierte)

Self-Assessment

Interpretieren Sie die folgenden Analysen:

1. Sie vergleichen mit einem T-Test die Körpergröße zwischen Männern und Frauen. Der berechnete T-Wert: t(100) = 3.45
2. Sie vergleichen die Hausarbeitsnoten über alle 6 Parallelkurse Inhaltsanalyse mittels Varianzanalyse: p = .074
3. Sie berechnen die Korrelation zwischen Anwesenheit und Punkten in der Klausur: r = .41 95%-CI (.24;.58)

Was ist Inferenzstatistik?

“Die Inferenzstatistik (d.h. schließende Statistik) beschäftigt sich mit der Frage, wie man aufgrund von Stichprobendaten auf Sachverhalte in einer zugrundeliegenden Population schließen kann.” (Eid et al., 2010, p. 191)

• Uns interessieren Verfahren für die statistische Punkt- und Intervallschätzung.
• Die Verfahren basieren auf bestimmten Annahmen über die Stichprobe und Variable(n).
• Klassische (asymptotische) Inferenzstatistik basiert auf ausreichend großen Zufallsstichproben.
• Alternative Ansätze, wie z.B. Bootstrapping, kommen mit weniger strengen Annahmen aus, sind dafür aber weniger mathematisch abgesichert und elegant.

Ein simuliertes Beispiel

Stichprobenziehung und -kennwerte

Wiederholte Stichproben

Stichprobenmittelwerte und SE

Stichprobentheorie und -empirie

Konfidenzintervalle

Interpretation eines Konfidenzintervalls

• Ein 95%-Konfidenzintervall bedeutet: in 95 Prozent aller denkbaren Stichproben würde das Konfidenzintervall den wahren Populationswert enthalten.
• Die Wahrscheinlichkeit, den wahren Wert zu enthalten, bezieht sich auf die Konstruktion von Konfidenzintervallen, nicht auf ein einzelnes Intervall.
• Wir wissen aber bei einer einzigen, konkreten Stichprobe nicht, ob unser Konfidenzintervall den wahren Wert enthält.
• Aber wir sind zuversichtlich (“confident”), dass unsere Stichprobe zu den 95% “Treffern” gehört, nicht zu den 5% Abweichlern.
• Wenn der Wert unter der Nullhypothese nicht im Konfidenzintervall liegt, bezeichnen wir das Ergebnis als statistisch signifikant.

Abdeckung der Konfidenzintervalle

Je größer die Stichprobe (n), desto kleiner der Standardfehler (SE), d.h. desto enger das Konfidenzintervall. Es gilt aber immer, bei 95%-CI enthalten langfristig 5 von 100 Intervallen nicht den Populationswert.

Die Welt der Nullhypothese?

• Im Gegensatz zu den unendlich vielen Alternativhypothesen, die man haben kann, gibt es immer nur eine Nullhypothese.
  • Es besteht kein Unterschied/Abhängigekeit zwischen Gruppen oder Variablen.
• Von fast allen Verfahren (T-Test, Korrelation, Chi-Quadrat-Test, etc.) wissen wir, wie die “Welt der Nullhypothese aussieht.
• Wir prüfen Stichprobenkennwerte daraufhin, wie häufig oder wahrscheinlich sie in der Welt der Nullhypothese sind.
• Diese Wahrscheinlichkeit ist der p-Wert.

Was bedeutet der p-Wert?

p(Daten|H0)

• Der p-Wert ist die bedingte Wahrscheinlichkeit, die empirischen Daten (z.B. eine Mittelwertdifferenz zwischen zwei Gruppen) zu beobachten, wenn die Nullhypothese in der Grundgesamtheit gilt.
• Beispiel bei einem t-Test für eine Mittelwertdifferenz erhalten wir einen p-Wert von p = .08. Das bedeutet, wir würden in 8 von 100 Fällen eine mindestens gleich große Differenz beobachten, auch wenn in der Grundgesamtheit gar kein Unterschied ist.

Was bedeutet der p-Wert nicht?

• p(Daten|H1): Die Wahrscheinlichkeit, die empirischen Daten zu beoachten, wenn die Alternativhypothese gilt.

• p(H0|Daten): Die Wahrscheinlichkeit für die Richtigkeit der Nullhypothese im Lichte der Daten.

• p(H1|Daten): Die Wahrscheinlichkeit für die Richtigkeit der Alternativhypothese im Licht der Daten.

• Der p-Wert sagt also nichts über die Wahrscheinlichkeit der Null- oder Alternativhypothese!

außerdem:

• Das Ablehnen der Nullhypothese sagt nichts über die Alternativhypothese!
• Die meisten von uns interessieren sich nicht für die Frage, die der p-Wert beantwortet!

Was bedeutet dann statistische Signifikanz?

• Wir nennen ein Ergebnis statistisch signifikant, wenn \(p < \alpha\), wobei \(\alpha\) das zuvor angenommene Signifikanzniveau ist.
• Zwei mögliche Ursachen:
  • Die Nullhypothese gilt, aber wir beobachten zufällig ein sehr seltenes Ereignis oder
  • Die Nullhypothese gilt nicht. (Das heißt nicht, die Alternativhypothese gilt.)
• Wenn \(p < .05\), sind wir zuversichtlich, dass unsere Stichprobe nicht zu den 5% Abweichlern in der Welt der Nullhypothese gehört, sondern einfach die Nullhypothese nicht stimmt.

Alpha- und Beta-Fehler

Quelle: https://www.statisticssolutions.com

Alpha-Fehler

Beta-Fehler und statistische Power

• Um Beta-Fehler (H0 wird fälschlich angenommen) zu verringern, brauchen wir statistische Power bzw. Präzision (vgl. Konfidenzintervalle).
• Um die Power/Präzision eines Tests/einer Schätzung zu erhöhen, muss man zumeist die Stichprobengröße erhöhen.
• Per Umstellung der SE-Formel kann man die nötige Stichprobengröße für erwartete Schätzer berechnen.

Take home message

Inferenzstatistik ‚funktioniert’, weil…

• wir die Form der Verteilung von Kennwerten bei wiederholter Durchführung von Zufallsstichproben kennen (zentrales Grenzwerttheorem) und
• wir die Parameter der Verteilung aus den Daten unserer Stichprobe schätzen können.
• Aber: wir kennen nur die Welt der Nullhypothese (egal für welchen Test und welchen Schätzer), d.h. alle Aussagen der NHST beziehen sich auf diese Welt.
• Die Präzision unserer Schätzung bzw. Power unseres Tests hängt ab von der Streuung des Merkmals und der Größe der Stichprobe (je größer, desto präziser). Entsprechend sollten Untersuchungen geplant werden.
• Es gibt immer Alpha- und Beta-Fehler, und für eine Stichprobe können wir nie exakt wissen, wo wir stehen.

Hauptsache signifikant?

• Hypothesentests als stumpfe Rituale mit dem Ziel, p < .05 zu erhalten.
• von Konvention zum reinen Selbstzweck (Signifikanz = gut, keine = schlecht).
• Das sog. p-Hacking bedeutet, die Daten und Analysen so zu frisieren, bis ein stat. signifikantes Ergebnis erscheint.
• Signifikanz sagt nichts über substanzielle Bedeutung!
• Bitte in Zukunft beachten:
  • Nicht p-hacken, nicht im Nachhinein am Alpha-Niveau schrauben!
  • Kein Bedauern nicht-signifikanter Ergebnisse (“leider knapp nicht signifikant”)!

Datenanalyse als Rezeptsammlung

• In der klassischen Statistikausbildung (auch bei uns) als Rezeptesammlung:

  • Mittelwerte in (genau) zwei Gruppen vergleichen - T-Test
  • Mittelwerte in mehr als zwei Gruppen vergleichen - Varianzanalyse (ANOVA)
  • Zusammenhänge von kategoriellen Variablen testen - \(\chi^2\)-Test
  • …

• Fokus auf Unterschieden und Spezifika statt auf Gemeinsamkeiten

• Viele Verfahren sind aber mindestens funktional, oft auch mathematisch äquivalent!

Beispielstudie: Auty & Lewis (2004)

There has been little attempt to understand the influence on children of branded products that appear in television programs and movies. A study exposed children of two different age groups (6–7 and 11–12) in classrooms to a brief film clip. Half of each class was shown a scene from Home Alone that shows Pepsi Cola being spilled during a meal. The other half was shown a similar clip from Home Alone but without branded products. All children were invited to help themselves from a choice of Pepsi or Coke at the outset of the individual interviews.

Beispielstudie: Daten

Beispielstudie: Chi-Quadrat Test

Kreuztabelle (Spaltenprozente)

Chi-Quadrat Test

Beispielstudie: Bivariate Korrelation

Pearson Korrelation

Kendall Korrelation

Beispielstudie: Mittelwertvergleiche

t-Test

ANOVA

Gemeinsamkeiten und Unterschiede

• dieselbe Testentscheidung (signifikanter Unterschied zwischen den Gruppen bzw. signifikanter Zusammenhang zwischen Placement und Produktwahl).
• bei 3 Verfahren exakt gleicher p-Wert (d.h. Berechnung ist identisch), beim Chi-Quadrat-Test einen (leicht) abweichenden (d.h. Berechnung ist nicht identisch).
• die Verfahren unterscheiden sich vor allem im Modelloutput
• manchmal nur globale Teststatistiken (Chi-Quadrat, F-, t-Wert), manchmal auch Konfidenzintervalle oder Effektgrößen
• auch wenn es z.T. substanziell-statistische Unterschiede gibt, unterscheiden sich vor allem die Konventionen des Berichtens

Datenanalyse als statistische Modellierung

• Datenanalyse als Anwendung und Test bestimmter statistischer Modelle
• ein statistisches Modell ist eine vereinfachte Vorstellung, wie die beobachteten Daten zustande kommen (könnten)
• wir wenden diese Modell an und prüfen, wie gut die empirischen Daten dazu passen

\[ outcome_i = Model_i + error_i \]

• beobachtete Daten (Outcome) als Summe von modellierten und nicht-modellierten Zusammenhängen

Das Nullmodell

Frage: Wenn wir nur einen Schätzwert \(a\) für \(Y\) haben, welcher ist der beste Schätzer?

\[ Y_i = a + \epsilon_i \]

• das beste \(a\) ist dasjenige, das den Fehler \(\epsilon\) minimiert (\(\epsilon_i = Y_i - a\))
• bester Schätzer = kleinste Summe quadrierter Abweichungen \(\epsilon_i\) von \(y\)
• Kriterium der least squares -> Ordinary Least Squares (OLS)

Antwort: Mittelwert \(\bar{x}\) als der beste Modellkoeffizient im Nullmodell

Problem: damit erklärt das Modell aber nichts, es fehlt eine Prädiktorvariable \(X\)

Modellformel für das GLM (bivariat)

\[ Y_i = b_0 + b_1 X_i + \epsilon_i \]

• Grundidee, eine Variable \(Y\) (abhängige Variable, Outcome) durch ein statistisches Modell mit einem oder mehr Parametern \(b\) vorhersagen zu lassen
• Annahme: linearer Zusammenhang, d.h. \(Y\) hängt nur von \(b_0\) und der durch \(b_1\) gewichteten (unabhängige) Prädiktorvariable \(X\) ab
• \(b_0\) = Intercept = Achsenabschnitt = vorhergesagter Wert von \(Y\), wenn \(X = 0\)
• grundlegende Interpretation:
  • “je mehr X, desto mehr Y”, wenn \(b_1 > 0\), und
  • “je mehr X, desto weniger Y”, wenn \(b_1<0\).
• es bleibt ein Vorhersage- bzw. Residualfehler \(\epsilon\) (der minimiert wird)

Modellformel für das GLM (multivariat)

\[ Y_i = b_0 + b_1 X_1 + + b_2 X_2 + b_3 X_3 + ... + \epsilon_i \]

• weil der Modell eine lineare Gleichung ist, können wir problemlos mehrere Prädikorvariablen \(X\) hinzufügen
• Outcome \(Y\) als eine (gewichtete) Linearkombination der Prädiktorvariablen \(X_1\) … \(X_k\)
• Parameter \(b_1\), \(b_2\), \(b3\) … sind die Gewichte, mit denen die Prädiktoren \(X\) zur Vorhersage von \(Y\) beitragen
• Interpretation von jedem \(b\) ist dieselbe wie im bivariaten Fall
• Intercept \(b_0\) ist der vorhergesagte Wert von \(Y\), wenn alle \(X_1 = X_2 = X_3 = 0\).

Anwendungsfälle des GLM

• Wenn die Prädiktorvariablen \(X\) kategoriell sind, entspricht das GLM dem T-Test bzw. der Varianzanalyse.
• Wenn die Prädiktorvariablen \(X\) metrisch sind, entspricht das GLM der linearen Regression bzw. Korrelation.
• Man kann problemlos beliebig viele kategorielle und metrische Prädiktoren mischen.
• Die Interpretation ist immer dieselbe, d.h. man muss nur eine Interpretationsregel lernen.

Annahmen und Erweiterungen

• Annahme: Zusammenhang zwischen \(X\) und \(Y\) ist linear
  • wenn die Annahme nicht gerechtfertigt ist, kann man auch andere funktionale Zusammenhänge modellieren,
    siehe Sitzung zur logistischen Regression
• Annahme: Untersuchungseinheiten sind unabhängig voneinander
  • wenn die Annahme verletzt ist, kann man Abhängigkeiten zwischen Fällen modellieren,
    siehe Sitzung zu Multilevel-Modellen

Welche Kennziffern sind relevant?

• Modellparameter bzw. Regressionskoeffizienten \(b\) geben die geschätzten Zusammenhänge bzw. Unterschiede wieder
• Koeffizienten haben einen Punktschätzer und einen Standardfehler bzw. ein Konfidenzintervall (Inferenzstatistik)
• (Null-)Hypothesentests der Koeffizienten = testen, ob die beobachteten Daten zur Nullhypothese \(b=0\) passen
• Modellgütemaße wie \(R^2\) quantifizieren, wie gut das statistische Modell insgesamt die Werte von \(Y\) vorhersagen kann (Verhältnis von vorhergesagter und Residualvarianz)

Modellvorhersagen

• Regressionsmodelle sind Vorhersageinstrumente
• mit Hilfe der Regressionskoeffizienten kann man für jede Kombination von Prädiktoren \(X\) das Outcome \(Y\) vorhersagen
• Vorhersagen für einzelne Individuen oder spezifische Gruppen (siehe Sitzung Modellvorhersagen)
• vorhergesagte Werte für die Visualisierung von Unterschieden und Zusammenhängen verwenden
• Vorhersagen oft intuitiver zu verstehen als einzelne Parameterschätzungen

Wie ist nun unser GLM-Rezept?

1. Daten einlesen und Outcome \(Y\) deskriptiv auswerten
2. GLM spezifizieren (d.h. welches sind unsere Prädiktorvariablen?) und schätzen
3. Regressionskoeffizienten interpretieren (Vorzeichen, Größe, Konfidenzintervall, stat. Signifikanz)
4. Modellgüte und ggf. globale Teststatistik interpretieren
5. durch das Modell vorhergesagte Werte schätzen, vergleichen, visualisieren

Beispielstudie: GLM

Modelloutput (Regressionstabelle)

Interpretation

• Intercept \(b_0\): in der Kontrollgruppe (kein Placement, \(X = 0\)) vorhergesagte Wahrscheinlichkeit von .43 für Pepsi
• Regressionskoeffizient \(b_1\): bei Placement (\(X = 1\)) ist die vorhergesagte Wahrscheinlichkeit für Pepsi .20 höher als ohne Placement
• der Regressionskoeffizient \(b_1\) ist stat. signifikant (p < .05), d.h. er deckt sich nicht mit der Nullhypothese, dass es keinen Unterschied gibt
• Modellvorhersage bei Pepsi-Placement: \(0.43 + 0.20 * 1 = .63\) in der Placement-Bedingung
• \(R^2\): das Modell kann 4% der Varianz im Outcome \(Y\) erklären, der Rest bleibt unerklärt.

Was sind die Nachteile der GLM-Perspektive?

• viele SozialwissenschaftlerInnen haben es anders gelernt und verinnerlicht (“Warum machst du nicht T-Test statt Regression?”).
• Fachzeitschriften und Reviewer haben bestimmte Erwartungen und Vorgaben, AutorInnen präsentieren daher t-Test, ANOVA, etc.
• für Lektürekompetenz müssen wir (leider!) weiterhin auch die anderen Verfahren interpretieren können